Suy luận thống kê đặt câu hỏi: "Với dữ liệu này, những tham số cơ bản nào là khả dĩ nhất?" Trang trình bày này nối kết câu hỏi đó với Tối ưu hóa lồi. Chúng ta chuyển đổi khái niệm xác suất về khả năng xảy ra thành một chương trình có cấu trúc, cho thấy rằng dưới điều kiện log-lồi, việc tìm ước lượng tốt nhất tương đương với giải một bài toán tối ưu hóa lồi.
Khung khái niệm khả năng xảy ra
Hàm khả năng xảy ra là phân bố xác suất $p_x(y)$ được xem như một hàm của tham số $x$ với mẫu quan sát cố định $y$. Để ước lượng $x$, chúng ta sử dụng ước lượng cực đại khả năng (ML): chọn giá trị làm cho dữ liệu quan sát có khả năng xảy ra cao nhất.
$$\hat{x}_{ml} = \text{argmax}_x p_x(y) = \text{argmax}_x l(x)$$
Để tăng hiệu quả tính toán, chúng ta sử dụng hàm khả năng xảy ra logarit, $l(x) = \log p_x(y)$. Vì logarit là một hàm đồng biến, nó giữ nguyên vị trí cực đại trong khi chuyển các tích số (từ các quan sát độc lập) thành các tổng dễ xử lý hơn.
Chương trình tối ưu hóa ước lượng cực đại (7.1)
Chúng ta mô hình hóa ước lượng thành một chương trình toán học:
Chương trình này là một bài toán tối ưu hóa lồi nếu:
- Hàm khả năng xảy ra logarit $l$ là lồi ngược với mỗi giá trị của $y$.
- Tập hợp khả thi $C$ (thông tin tiên nghiệm) được mô tả bởi các ràng buộc đẳng thức tuyến tính và bất đẳng thức lồi.
Tích hợp ràng buộc và thông tin tiên nghiệm
Ước lượng cực đại khả năng yêu cầu định nghĩa lại $p_x(y)$ bằng 0 khi $x \notin C$ để áp đặt rõ ràng các ràng buộc vật lý hoặc tiên nghiệm. Trong không gian tối ưu hóa, điều này có nghĩa là hàm khả năng xảy ra logarit được gán giá trị $-\infty$ đối với các tham số $x$ vi phạm các ràng buộc này, tạo ra một rào cản không thể vượt qua cho bộ tối ưu hóa.